import requests
import time
import os
from bs4 import BeautifulSoup

# 设置保存小说内容的文件夹
count = 'xiaoshuo'  # 文件夹名称
if not os.path.exists(count):  # 如果文件夹不存在
    os.makedirs(count)  # 创建文件夹

# 基础URL，根据分页形式调整
base_url = "https://www.quanshuxs.com/qsxs.asp?id=128169"

# 遍历第2页到第9页
for i in range(2, 10):
    url = f'{base_url}{i}'  # 拼接分页URL
    print(url)
    print(f"正在请求第{i}页: {url}")

    # 请求时加上合适的头部
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }

    # 发送请求
    try:
        res = requests.get(url, headers=headers)
        res.raise_for_status()  # 检查请求是否成功
        res.encoding = res.apparent_encoding  # 自动检测编码

        # 使用BeautifulSoup解析HTML内容
        soup = BeautifulSoup(res.text, 'html.parser')

        # 查找小说的内容区域
        content1 = soup.find('td', class_='content')

        if content1:
           
            text = content1.get_text().strip()

            
            with open(f'{count}/{i}.txt', 'w', encoding='utf-8') as f:
                f.write(text)
                print(f'第{i}页获取成功')
        else:
            print(f'第{i}页未找到内容')

    except requests.exceptions.RequestException as e:
        # 捕获请求异常
        print(f'请求第{i}页失败: {e}')

   
    time.sleep(1)  # 适当增加请求间隔时间